Os dados em investigação educacional podem provir de fontes muito diversas, desde documentos institucionais ou pessoais, a anotações feitas pelo investigador, decorrentes de observação em contextos naturalistas, passando pela aplicação de testes, questionários ou entrevistas aos sujeitos informantes, ou ainda pela utilização de artefactos produzidos em contextos não investigativos.
Nem sempre a recolha de dados exige a elaboração de instrumentos específicos. Contudo, o investigador encontra-se frequentemente na necessidade de ter de construir instrumentos próprios para obter os dados que permitem responder às suas questões de investigação. É o caso de testes, questionários, guiões de entrevistas ou grelhas de observação de comportamentos não verbais(1).
Numa primeira abordagem sugere-se que cada um proceda às pesquisas que entender, de modo a ficar com uma panorâmica geral sobre os métodos de recolha de dados, seja em pesquisas relacionadas com a investigação positivista e quantitativa, quer com a investigação interpretativa e qualitativa. A partir desta pesquisa genérica, focaremos o nosso estudo na utilização do questionário enquanto técnica quantitativa de recolha de dados e na utilização da entrevista como técnica de recolha de dados usada em investigação qualitativa.
Assim, neste tema configura-se uma actividade longa, com várias fases:
1ª parte – pesquisa individual sobre os métodos de recolha de dados
Análise da dissertação com a utilização do questionário
Caros investigadores
Nesta raiz vamos procurar discutir entre todos a análise efectuada sobre a dissertação sugerida.
Recordo as questões orientadoras da análise:
A autora apresenta claramente os objectivos de investigação que presidiram à elaboração do questionário?
Na dissertação apresentada há indicação dos passos que estiveram subjacentes à construção do questionário?
A amostra é claramente identificada?
É indicado o método usado na definição da amostra?
O questionário usado foi objecto de validação prévia?
Na explicitação da metodologia usada há indicações sobre o modo de tratamento dos dados obtidos com a aplicação do questionário?
Os dados em investigação educacional Os dados em investigação educacional podem provir de fontes muito diversas, desde documentos institucionais ou pessoais, a anotações feitas pelo investigador, decorrentes de observação em contextos naturalistas, passando pela aplicação de testes, questionários ou entrevistas aos sujeitos informantes, ou ainda pela utilização de artefactos produzidos em contextos não investigativos.
Nem sempre a recolha de dados exige a elaboração de instrumentos específicos. Contudo, o investigador encontra-se frequentemente na necessidade de ter de construir instrumentos próprios para obter os dados que permitem responder às suas questões de investigação. É o caso de testes, questionários, guiões de entrevistas ou grelhas de observação de comportamentos não verbais(1).
Numa primeira abordagem sugere-se que cada um proceda às pesquisas que entender, de modo a ficar com uma panorâmica geral sobre os métodos de recolha de dados, seja em pesquisas relacionadas com a investigação positivista e quantitativa, quer com a investigação interpretativa e qualitativa. A partir desta pesquisa genérica, focaremos o nosso estudo na utilização do questionário enquanto técnica quantitativa de recolha de dados e na utilização da entrevista como técnica de recolha de dados usada em investigação qualitativa.Assim, neste tema configura-se uma actividade longa, com várias fases:
1ª parte – pesquisa individual sobre os métodos de recolha de dado
3ª parte – discussão em fórum geral sobre os métodos quantitativos, em particular o uso do questionário.
4ª parte – pesquisa individual (ou em equipa) sobre a utilização de entrevistas e sobre as técnicas de entrevista.
5ª parte – preparação em equipa de um guião para uma e-entrevista.
6ª parte – apresentação dos guiões e discussão em fórum geral; construção de um guião comum para uma e-entrevista.
7ª parte – realização de e-entrevistas no terren
Questões específicas para análise:
A- Sobre os questionários.
(1)Análise da dissertação relativamente ao uso de questionários como técnica de recolha de dados:
A autora apresenta claramente os objectivos de investigação que presidiram à elaboração do questionário?
Na dissertação apresentada há indicação dos passos que estiveram subjacentes à construção do questionário?
A amostra é claramente identificada?
É indicado o método usado na definição da amostra?
O questionário usado foi objecto de validação prévia?
Na explicitação da metodologia usada há indicações sobre o modo de tratamento dos dados obtidos com a aplicação do questionário?
(2)Questionários online: que ferramentas? B – Sobre as entrevistas
Como caracterizar as entrevistas quanto ao número de sujeitos inquiridos?
Como se podem diferenciar as entrevistas relativamente aos temas em análise?
Como diferenciar entrevistas quanto à estruturação?
Como construir um guião para uma entrevista?
A entrevista online: que processos possíveis?
(1)Note-se que um investigador, de acordo com os seus objectivos, pode socorrer-se de questionários e testes já validados para os mesmos objectivos, em contextos próximos, adaptando-os se necessário.
A 5ª parte da actividade 2, relativa à recolha de dados, consiste na produção em equipa de um guião para uma entrevista.
Esse guião deverá ser colocado em fórum e discutido neste, de modo a produzir-se um guião consensual que sirva de base à realização de entrevistas.
Suponhamos que estamos a fazer um estudo de caso sobre a forma como os amigos dos estudantes deste mestrado percepcionam o ensino a distância.
O caso está então delimitado e vamos recorrer a entrevistassemi-estruturadas
Vamos definir 3 questões de investigação:
O que pensam pessoas que nunca tiveram experiência de ensino a distância sobre esta modalidade de ensino?
Como é que valorizam e/ou desvalorizam o ensino a distância?
Como é que sentem o facto de ser amigo de um estudante de mestrado em Ensino a Distância?
Cada grupo deverá fazer um guião para esta entrevista.
Esse guião deverá ser colocado no fórum "Entrevistas" que será aberto no dia 8 de Dezembro. Para entrevistar um amigo de cada um de vós. Só pertencem ao estudo amigos que nunca tiveram experiências de ensino a distância.
Comentário sobre a discussão em fórum sobre os métodos quantitativos de recolhas de dados A discussão foi organizada em duas raízes: uma relativa à análise da dissertação de Neto, sobre a utilização de questionários e a outra sobre e-questionários.
Foram várias as intervenções nesta discussão. Embora a discussão pudesse ter ido mais longe no que se refere aos métodos quantitativos de recolha de dados e à utilização do questionário, houve participação de vários membros da comunidade, centrando-se contudo, com maior nitidez nas questões relativas à utilização de e-questionários. Salienta-se como muito positiva a contribuição de vários sobre ferramentas para a elaboração de e-qeustionários e a discussão á volta das suas vantagens/desvantagens face ao mesmo instrumento em papel.
Na primeira raiz foram discutidos no geral vários aspectos sobre a utilização do questionário na dissertação analisada, nomeadamente:
- a autora apresenta os objectivos que presidiram à elaboração do questionário; contudo, não o faz com muita clareza no capítulo da metodologia, o que torna mais difícil a leitura do relatório.
Poderia ter sido proveitosa inclusão de um quadro com duas entradas, uma relativa aos objectivos do questionário e a outra relativa ás perguntas elaboradas para atingir esses objectivos:
Objectivos
Perguntas
xxxxx
1,2,7
yyyy
3, 9, 14
....
.....
- um quadro deste tipo pode ser muito útil na fase inicial de construção do questionário ao procurar proceder-se á validação do mesmo. Relativamente a este aspecto é referido que houve uma versão inicial do questionário com uma pequena amostra, da qual resultou a alteração de algumas questões.
Refira-se aqui que este tipo de validação empírica é importante para se saber se as perguntas são claras para os destinatários (não revelam ambiguidades), se a extensão é razoável, etc.
Todavia, há um outro tipo de validade de um instrumento, que não é referido no trabalho a analisado como tendo sido uma preocupação da investigadora: trata-se da validade de conteúdo do instrumento e que diz respeito à “certeza” de que as perguntas reflectem os objectivos da investigação no que se refere à utilização desse instrumento.
Este tipo de validade é feito com recurso a um painel de investigadores da área onde se insere a investigação: pede-se a esses investigadores que analisem o questionário e comparem os seus objectivos com os objectivos da investigação: o questionário reflecte os objectivos da investigação? O questionário cobre todas as perguntas que é possível ter em função dos objectivos da investigação? Até que ponto a escalas escolhidas são as adequadas e permitem tratamento posterior?
- conforme foi referido na discussão, a amostra de escolas a inquirir foi feita por conveniência, embora não tenha sido usada explicitamente esta designação. Contudo, não é indicado qual o número de questionários distribuído e qual a taxa de resposta. Sendo uma amostra por conveniência, a generalização é muito limitada, e mesmo assim fica-se sem se saber se relativamente ao universo inquirido a amostra usada é representativa. Este aspecto é realçado numa das críticas feitas na discussão quando se refere à incongruência entre o subtítulo do trabalho e esta amostra, pois o subtítulo exigiria uma generalização que não é possível com a amostra usada.
Relativamente à questão dos e-questionários foi realçada a vantagem de:
- Facilitarem o registo e compilação de dados para posterior análise;
- A maior rapidez de acesso aos informantes e de recepção
- A possibilidade de se trabalhar com amostras grandes e deslocalizadas com menos custos
-Foi salientada a necessidade de salvaguarda do anonimato das fontes. Embora se coloque a questão do consentimento do informante, admite-se que responder a um e-questionário traduz o consentimento do inquirido.
-As limitações advêm das próprias limitações do acesso à tecnologia e, em grande medida, da dificuldade de usar incentivos à resposta, caso a taxa de resposta seja baixa.
A questão da extensão de um questionário pode limitar mais a taxa de respostas num questionário online do que em papel, pela exigência de ser preenchido num espaço de tempo menor. Poderá obviar a esta dificuldade a escolha de uma ferramenta que permita a sua resposta parcelar e posterior finalização.
Todavia, cabe aqui fazer um parêntesis sobre a extensão dos questionários em geral: se é certo que por vezes o investigador tem necessidade de incluir um grande número de perguntas, a extensão de um questionário pode limitar a adesão dos respondentes e, consequentemente originar baixas taxas de resposta.
-Foi referida a possibilidade de baixa taxa de respostas no caso de questionários enviados por email – essa questão tem naturalmente a ver com a maior exposição do inquirido e, consequentemente, receio da quebra do anonimato.
Uma vez que a questão dos métodos quantitativos de recolha de dados ficou um pouco aquém do que seria desejável abordar, encontram no espaço deste tema um PPT sobre a investigação quantitativa.
Caros investigadores
Chegados a este ponto temos de confrontar as várias propostas. O objectivo é criar um guião comum de modo a que cada um possa conduzir uma entrevista a um amigo dentro de um quadro geral comum.
Por isso, para além de aspectos de pormenor que deixo à vossa análise, ficam já aqui duas questões para discussão:
1) uma equipa equaciona a possibilidade de as entrevistas serem presenciais; outros dois grupos colocam a hipótese de serem online; o que vamos decidir?
2) um dos guiões coloca a hipótese de preparar a entrevista pensando á partida em questões objectivas, do tipo sim ou não, ou de escolha múltipla; será adequado para uma entrevista semi-estuturada que se insere numa metodologia qualitativa?
A vós a palavra....
[ ] Alda Pereira
----
Caros investigadores
Estive a analisar o guião construído e acho que é um bom guião.
Mas atenção: não há que ter a ideia de que a ordem das perguntas seja estática. Deverão deixar o entrevistado à vontade, e ir fazendo as perguntas à medida que ele avança. Peçam para reformular se acharem que o entrevistado foi muito confuso ou ambíguo. Peçam para desenvolver mais a ideia se o entrevistado foi muito sintético - façam-no falar à vontade.
Conseguem fazer as entrevistas na próxima semana, que começa a 4 de Janeiro?
Para fazermos a análise das entrevistas, darei algumas pistas no final da próxima semana.
Vão colocando no Wiki a indicação de que a entrevista foi feita.
[ ] Alda Pereira
Como seria de esperar esta segunda temática revestia-se de contornos mais complexos. Na realidade, deixávamos cada vez mais o campo teórico para nos confrontarmos com o "caso" e obviamente com toda a problemática que lhe é inerente
De facto elaborar um guião de entrevista não foi fácil...principalmente online e com elementos de formação diferente: naturalmente os colegas que no seu dia a dia trabalham com as Tic procuraram logo utilizar programas facilitadores deste tipo de tarefas principalmente porque, pela sua versatilidade, poderiam, a posteriori, ser utilizados noutras tarefas, relacionadas com o mesmo trabalho. por seu turno, os colegas pertencentes ao ensino de carácter mais tradicional, acabaram por trabalhar o guião da forma também ele mais tradicional, mas que, provavelmente não era tão bem conseguida no ensino online.
De qualquer maneira estou em crer que de uma maneira geral. todos conseguiram contribuir de forma empenhada para a elaboração do guião que, nesta altura parecia bastante conseguido. No que respeita à minha participação, penso que também aqui estive à altura do que se pretendia tendo participado com a frequência necessária em fórum bem como ao elaborar (sozinha ou em grupo) trabalhos temáticos com alguma qualidade.Claro que muito do que apresentei resulta de leituras e consultas que fiz sobre a matéria e das quais deixo, em lugar próprio, referência e reflexões a propósito.
TEMA 2 - A recolha de dados
Métodos de recolha de dados
Os dados em investigação educacional
Os dados em investigação educacional podem provir de fontes muito diversas, desde documentos institucionais ou pessoais, a anotações feitas pelo investigador, decorrentes de observação em contextos naturalistas, passando pela aplicação de testes, questionários ou entrevistas aos sujeitos informantes, ou ainda pela utilização de artefactos produzidos em contextos não investigativos.
Nem sempre a recolha de dados exige a elaboração de instrumentos específicos. Contudo, o investigador encontra-se frequentemente na necessidade de ter de construir instrumentos próprios para obter os dados que permitem responder às suas questões de investigação. É o caso de testes, questionários, guiões de entrevistas ou grelhas de observação de comportamentos não verbais(1).
Numa primeira abordagem sugere-se que cada um proceda às pesquisas que entender, de modo a ficar com uma panorâmica geral sobre os métodos de recolha de dados, seja em pesquisas relacionadas com a investigação positivista e quantitativa, quer com a investigação interpretativa e qualitativa. A partir desta pesquisa genérica, focaremos o nosso estudo na utilização do questionário enquanto técnica quantitativa de recolha de dados e na utilização da entrevista como técnica de recolha de dados usada em investigação qualitativa.
- 1ª parte – pesquisa individual sobre os métodos de recolha de dados
* 2ª parte – análise individual ou em equipa da utilização do questionário como método de recolha de dados: análise da dissertação Neto, C. (2006). O papel da internet no processo de construção do conhecimento.Pesquisas-2
Nesta raiz vamos procurar discutir entre todos a análise efectuada sobre a dissertação sugerida.
Recordo as questões orientadoras da análise:
- A autora apresenta claramente os objectivos de investigação que presidiram à elaboração do questionário?
- Na dissertação apresentada há indicação dos passos que estiveram subjacentes à construção do questionário?
- A amostra é claramente identificada?
- É indicado o método usado na definição da amostra?
- O questionário usado foi objecto de validação prévia?
- Na explicitação da metodologia usada há indicações sobre o modo de tratamento dos dados obtidos com a aplicação do questionário?
[ ] Alda PereiraTrabalho Desenvolvido-2
Forum-2
Blog-2
Os dados em investigação educacional
Os dados em investigação educacional podem provir de fontes muito diversas, desde documentos institucionais ou pessoais, a anotações feitas pelo investigador, decorrentes de observação em contextos naturalistas, passando pela aplicação de testes, questionários ou entrevistas aos sujeitos informantes, ou ainda pela utilização de artefactos produzidos em contextos não investigativos.
Nem sempre a recolha de dados exige a elaboração de instrumentos específicos. Contudo, o investigador encontra-se frequentemente na necessidade de ter de construir instrumentos próprios para obter os dados que permitem responder às suas questões de investigação. É o caso de testes, questionários, guiões de entrevistas ou grelhas de observação de comportamentos não verbais(1).
Numa primeira abordagem sugere-se que cada um proceda às pesquisas que entender, de modo a ficar com uma panorâmica geral sobre os métodos de recolha de dados, seja em pesquisas relacionadas com a investigação positivista e quantitativa, quer com a investigação interpretativa e qualitativa. A partir desta pesquisa genérica, focaremos o nosso estudo na utilização do questionário enquanto técnica quantitativa de recolha de dados e na utilização da entrevista como técnica de recolha de dados usada em investigação qualitativa.Assim, neste tema configura-se uma actividade longa, com várias fases:
Questões específicas para análise:
A- Sobre os questionários.(1)Análise da dissertação relativamente ao uso de questionários como técnica de recolha de dados:
- A autora apresenta claramente os objectivos de investigação que presidiram à elaboração do questionário?
- Na dissertação apresentada há indicação dos passos que estiveram subjacentes à construção do questionário?
- A amostra é claramente identificada?
- É indicado o método usado na definição da amostra?
- O questionário usado foi objecto de validação prévia?
- Na explicitação da metodologia usada há indicações sobre o modo de tratamento dos dados obtidos com a aplicação do questionário?
(2)Questionários online: que ferramentas?B – Sobre as entrevistas
- Como caracterizar as entrevistas quanto ao número de sujeitos inquiridos?
- Como se podem diferenciar as entrevistas relativamente aos temas em análise?
- Como diferenciar entrevistas quanto à estruturação?
- Como construir um guião para uma entrevista?
- A entrevista online: que processos possíveis?
(1)Note-se que um investigador, de acordo com os seus objectivos, pode socorrer-se de questionários e testes já validados para os mesmos objectivos, em contextos próximos, adaptando-os se necessário.Esse guião deverá ser colocado em fórum e discutido neste, de modo a produzir-se um guião consensual que sirva de base à realização de entrevistas.
Suponhamos que estamos a fazer um estudo de caso sobre a forma como os amigos dos estudantes deste mestrado percepcionam o ensino a distância.
O caso está então delimitado e vamos recorrer a entrevistas semi-estruturadas
Vamos definir 3 questões de investigação:
Cada grupo deverá fazer um guião para esta entrevista.
Esse guião deverá ser colocado no fórum "Entrevistas" que será aberto no dia 8 de Dezembro. Para entrevistar um amigo de cada um de vós. Só pertencem ao estudo amigos que nunca tiveram experiências de ensino a distância.
A discussão foi organizada em duas raízes: uma relativa à análise da dissertação de Neto, sobre a utilização de questionários e a outra sobre e-questionários.
Foram várias as intervenções nesta discussão. Embora a discussão pudesse ter ido mais longe no que se refere aos métodos quantitativos de recolha de dados e à utilização do questionário, houve participação de vários membros da comunidade, centrando-se contudo, com maior nitidez nas questões relativas à utilização de e-questionários. Salienta-se como muito positiva a contribuição de vários sobre ferramentas para a elaboração de e-qeustionários e a discussão á volta das suas vantagens/desvantagens face ao mesmo instrumento em papel.
Na primeira raiz foram discutidos no geral vários aspectos sobre a utilização do questionário na dissertação analisada, nomeadamente:
- a autora apresenta os objectivos que presidiram à elaboração do questionário; contudo, não o faz com muita clareza no capítulo da metodologia, o que torna mais difícil a leitura do relatório.
Poderia ter sido proveitosa inclusão de um quadro com duas entradas, uma relativa aos objectivos do questionário e a outra relativa ás perguntas elaboradas para atingir esses objectivos:
Refira-se aqui que este tipo de validação empírica é importante para se saber se as perguntas são claras para os destinatários (não revelam ambiguidades), se a extensão é razoável, etc.
Todavia, há um outro tipo de validade de um instrumento, que não é referido no trabalho a analisado como tendo sido uma preocupação da investigadora: trata-se da validade de conteúdo do instrumento e que diz respeito à “certeza” de que as perguntas reflectem os objectivos da investigação no que se refere à utilização desse instrumento.
Este tipo de validade é feito com recurso a um painel de investigadores da área onde se insere a investigação: pede-se a esses investigadores que analisem o questionário e comparem os seus objectivos com os objectivos da investigação: o questionário reflecte os objectivos da investigação? O questionário cobre todas as perguntas que é possível ter em função dos objectivos da investigação? Até que ponto a escalas escolhidas são as adequadas e permitem tratamento posterior?
- conforme foi referido na discussão, a amostra de escolas a inquirir foi feita por conveniência, embora não tenha sido usada explicitamente esta designação. Contudo, não é indicado qual o número de questionários distribuído e qual a taxa de resposta. Sendo uma amostra por conveniência, a generalização é muito limitada, e mesmo assim fica-se sem se saber se relativamente ao universo inquirido a amostra usada é representativa. Este aspecto é realçado numa das críticas feitas na discussão quando se refere à incongruência entre o subtítulo do trabalho e esta amostra, pois o subtítulo exigiria uma generalização que não é possível com a amostra usada.
Relativamente à questão dos e-questionários foi realçada a vantagem de:
- Facilitarem o registo e compilação de dados para posterior análise;
- A maior rapidez de acesso aos informantes e de recepção
- A possibilidade de se trabalhar com amostras grandes e deslocalizadas com menos custos
-Foi salientada a necessidade de salvaguarda do anonimato das fontes. Embora se coloque a questão do consentimento do informante, admite-se que responder a um e-questionário traduz o consentimento do inquirido.
-As limitações advêm das próprias limitações do acesso à tecnologia e, em grande medida, da dificuldade de usar incentivos à resposta, caso a taxa de resposta seja baixa.
A questão da extensão de um questionário pode limitar mais a taxa de respostas num questionário online do que em papel, pela exigência de ser preenchido num espaço de tempo menor. Poderá obviar a esta dificuldade a escolha de uma ferramenta que permita a sua resposta parcelar e posterior finalização.
Todavia, cabe aqui fazer um parêntesis sobre a extensão dos questionários em geral: se é certo que por vezes o investigador tem necessidade de incluir um grande número de perguntas, a extensão de um questionário pode limitar a adesão dos respondentes e, consequentemente originar baixas taxas de resposta.
-Foi referida a possibilidade de baixa taxa de respostas no caso de questionários enviados por email – essa questão tem naturalmente a ver com a maior exposição do inquirido e, consequentemente, receio da quebra do anonimato.
Uma vez que a questão dos métodos quantitativos de recolha de dados ficou um pouco aquém do que seria desejável abordar, encontram no espaço deste tema um PPT sobre a investigação quantitativa.
Discussão e preparação de um guião comum
Chegados a este ponto temos de confrontar as várias propostas. O objectivo é criar um guião comum de modo a que cada um possa conduzir uma entrevista a um amigo dentro de um quadro geral comum.
Por isso, para além de aspectos de pormenor que deixo à vossa análise, ficam já aqui duas questões para discussão:
1) uma equipa equaciona a possibilidade de as entrevistas serem presenciais; outros dois grupos colocam a hipótese de serem online; o que vamos decidir?
2) um dos guiões coloca a hipótese de preparar a entrevista pensando á partida em questões objectivas, do tipo sim ou não, ou de escolha múltipla; será adequado para uma entrevista semi-estuturada que se insere numa metodologia qualitativa?
A vós a palavra....
[ ] Alda Pereira
----
Realização das entrevistas
Estive a analisar o guião construído e acho que é um bom guião.
Mas atenção: não há que ter a ideia de que a ordem das perguntas seja estática. Deverão deixar o entrevistado à vontade, e ir fazendo as perguntas à medida que ele avança. Peçam para reformular se acharem que o entrevistado foi muito confuso ou ambíguo. Peçam para desenvolver mais a ideia se o entrevistado foi muito sintético - façam-no falar à vontade.
Conseguem fazer as entrevistas na próxima semana, que começa a 4 de Janeiro?
Para fazermos a análise das entrevistas, darei algumas pistas no final da próxima semana.
Vão colocando no Wiki a indicação de que a entrevista foi feita.
[ ] Alda Pereira
Guião da entrevista
SENTIR
Como seria de esperar esta segunda temática revestia-se de contornos mais complexos. Na realidade, deixávamos cada vez mais o campo teórico para nos confrontarmos com o "caso" e obviamente com toda a problemática que lhe é inerenteDe facto elaborar um guião de entrevista não foi fácil...principalmente online e com elementos de formação diferente: naturalmente os colegas que no seu dia a dia trabalham com as Tic procuraram logo utilizar programas facilitadores deste tipo de tarefas principalmente porque, pela sua versatilidade, poderiam, a posteriori, ser utilizados noutras tarefas, relacionadas com o mesmo trabalho. por seu turno, os colegas pertencentes ao ensino de carácter mais tradicional, acabaram por trabalhar o guião da forma também ele mais tradicional, mas que, provavelmente não era tão bem conseguida no ensino online.
De qualquer maneira estou em crer que de uma maneira geral. todos conseguiram contribuir de forma empenhada para a elaboração do guião que, nesta altura parecia bastante conseguido.
No que respeita à minha participação, penso que também aqui estive à altura do que se pretendia tendo participado com a frequência necessária em fórum bem como ao elaborar (sozinha ou em grupo) trabalhos temáticos com alguma qualidade.Claro que muito do que apresentei resulta de leituras e consultas que fiz sobre a matéria e das quais deixo, em lugar próprio, referência e reflexões a propósito.